Souriez, vous formez !

Le système s’appelle Compass. Multiverse, spécialiste britannique de la formation aux compétences numériques, l’a déployé auprès de ses formateurs. Jusqu’ici, un manager pouvait observer environ une de leurs sessions par mois. Compass les analyse toutes, à partir de leur transcription, en croisant ses observations avec les retours des apprenants. Il attribue à chaque session un niveau de risque qui permet au manager de repérer celles qui méritent d’être examinées, et suggère des axes de développement pour chaque formateur. Multiverse insiste sur ce point : Compass ne décide ni de la performance ni de l’emploi des formateurs ; les managers vérifient ce qu’il produit et décident de la suite à donner. L’enquête publiée par The Guardian le 28 septembre raconte l’envers du décor. Des formateurs évoquent une surveillance « incessante », du stress et une perte d’autonomie. Le journal a eu accès aux instructions données au système : celui-ci peut notamment repérer des hésitations, certains tics de langage ou des explications laissant penser que le formateur maîtrise insuffisamment son sujet. Deux récits d’un même dispositif, en somme : pour Multiverse, une assurance qualité qui passe enfin à l’échelle ; pour une partie de ceux auxquels elle s’applique, le sentiment d’être observés en permanence.

Vous avez hésité : moins un point ?

Un formateur hésite. Est-ce parce qu’il maîtrise mal son sujet ? Peut-être. Mais il peut aussi chercher la meilleure façon de répondre à une question imprévue. Il reformule une consigne : manque de clarté ou adaptation à un groupe qui n’a pas compris ? Il s’éloigne du déroulé prévu : défaut de préparation ou décision d’un professionnel qui vient de repérer un besoin auquel son scénario ne répond pas ? La pédagogie est pleine de ces situations dont le sens tient au contexte. Un manager humain peut évidemment commettre les mêmes erreurs d’interprétation. La différence tient à l’échelle : une observation mensuelle devient une analyse de chaque session. Multiverse assume cette rupture. Une observation ponctuelle, explique l’entreprise, donne une image trop étroite du travail du formateur ; Compass doit au contraire permettre de suivre sa pratique dans la durée. Difficile de contester l’intérêt du changement pour une direction chargée de la qualité. Il permet de détecter plus rapidement une difficulté, mais aussi de repérer des régularités qu’une visite mensuelle aurait toutes les chances de manquer. Reste que l’on ne change pas seulement la quantité d’informations disponibles. On change la nature même de l’observation. Ce qui était exceptionnel devient permanent. Ce qui exigeait le temps d’un responsable devient automatisable. Et ce qui pouvait être vécu comme une visite entre professionnels s’installe dans chaque session, sans avoir besoin d’y être physiquement invité. L’assurance qualité commence alors à ressembler sérieusement à une infrastructure de surveillance.

Le formateur idéal existe : l’algorithme l’a défini

Encore faut-il regarder ce que Compass mesure. Le système ne découvre évidemment pas par lui-même ce qu’est un bon formateur. Il évalue les sessions à partir du Compass Framework, le référentiel que Multiverse utilise déjà pour recruter, former et développer ses coaches. Celui-ci s’organise autour de quatre compétences : expertise métier, utilisation des données pour préparer les sessions, capacité à créer la confiance et la sécurité psychologique, aptitude à guider l’apprenant et à lui fournir un feedback utile. Le sujet se déplace alors. La question n’est plus seulement : « L’IA sait-elle évaluer un formateur ? », mais : « Qui a décidé de ce qu’elle devait regarder ? » Tout système de ce type embarque une certaine conception du métier. Il faut choisir ce qui sera observable, fixer ce qui constitue un écart, décider du poids donné à tel comportement plutôt qu’à tel autre. Autrement dit, derrière l’algorithme qui juge se trouvent d’abord des humains qui ont défini ce qui méritait d’être jugé. Et c’est ici qu’apparaît un second risque, plus discret que celui de la mauvaise note : celui de la bonne note. Dès lors qu’un système récompense certains comportements, les formateurs apprennent ce qu’il vaut mieux faire ou éviter. Ils surveilleront leurs formulations, leurs hésitations, leur façon de conduire une séquence. Ils deviendront meilleurs au regard de la grille. Seront-ils devenus meilleurs formateurs ? Pas nécessairement. Après avoir beaucoup parlé de personnalisation des apprentissages, la formation dispose maintenant des outils qui pourraient standardiser ceux qui les accompagnent. À force de vouloir objectiver la qualité, elle risque surtout d’apprendre aux formateurs à satisfaire la machine.

Tout mesurer, sauf ce qui compte ?

Le problème est ancien. Satisfaction, acquisition, mise en application, impact sur la performance : Évaluer, évaluer… vous en avez de bonnes ! parcourait déjà en 2019 les différents étages de l’évaluation. L’IA ouvre aujourd’hui un territoire autrement vaste : l’acte de formation lui-même devient une masse de données exploitable. Chaque parole peut être transcrite, chaque session comparée aux précédentes, certains comportements repérés sur des centaines ou des milliers d’heures de formation. Multiverse prévoit d’ailleurs d’étendre la même approche aux revues de progression des apprenants et à d’autres catégories de coaches. Pour une direction formation ou un organisme disposant de centaines de formateurs, internes ou externes, la tentation sera forte. Pourquoi continuer à échantillonner quelques sessions quand la machine peut toutes les regarder ? L’assurance qualité change alors d’économie : ce qui était trop coûteux pour être systématique ne l’est plus. Mais la précision de la mesure ne garantit toujours pas la pertinence de ce qu’elle mesure. Le débit de parole d’un formateur, ses hésitations ou son respect d’un scénario restent à bonne distance de la question qui intéresse vraiment l’entreprise : les collaborateurs apprennent-ils mieux ? Et, plus difficile encore, utilisent-ils ensuite ce qu’ils ont appris ? Faut-il encore évaluer la formation ? posait en 2021 la question du changement d’échelle rendu possible par les technologies et les masses de données disponibles. Nous y sommes. Ce qui ne règle toujours pas la question essentielle : que faut-il mesurer ? Utiliser l’IA pour disposer d’informations jusqu’ici inaccessibles enrichira le jugement professionnel. Lui laisser progressivement définir ce qu’est une bonne pédagogie reviendrait à inverser les rôles. Big Brother n’a jamais été pédagogue.

Par la rédaction d’e-learning Letter